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基于 辨识 特征 后 融合 的 行人 再 识别 
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摘 要 : 跨 摄像 机 行人 因 光 照 、 视 角 、 姿 态 的 差异 ， 会 使 其 外 观 变化 显著 ， 给 行人 再 识别 的 研究 带 来 严峻 挑战 。 基 于 
多 特征 融合 和 距离 度量 学 习 技 术 ， 提 出 讲 识 特征 后 融合 的 算法 ， 并 将 其 应 用 于 行人 再 识别 中 。 首 先 ， 对 跨 摄像 机 行人 
样本 图 像 分 别提 取 局 部 最 大 出 现 频 次 (LOMO) 特征 和 基于 显著 颜色 名 称 的 颜色 描述 子 〈SCNCD) 特征 ， 表 示 跨 摄像 
机 行人 的 外 观 ; 然后 ， 基 于 所 提取 的 LOMO 和 SCNCD 特征 ， 分 别 去 训练 跨 视 图 二 次 判别 分 析 (XQDA) 距离 度量 学 
习 模 型 ， 分 别 获 取 跨 摄像 机 每 对 行人 每 个 特征 优化 的 距离 ; 最 后 ， 应 用 最 小 最 大 标准 化 距离 融合 的 算法 ， 获 取 跨 摄像 
机 行人 最 终 的 距离 ， 用 于 跨 摄像 机 行人 的 匹配 。 在 具有 挑战 的 VIPeR 和 PRID450S 两 个 公开 数据 集 上 进行 实验 ， 实 验 
结果 表明 所 提出 的 行人 再 识别 算法 有 效 地 提高 了 行人 再 识别 的 准确 率 。 
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Discriminative feature based late fusion for person re-identification 


Liu Qi! ?, Hou Lit? 
(1. School of Information Engineering, Huangshan University, Huangshan 245041, China; 2. School of Communication & 
Information Engineering, Shanghai University, Shanghai 200444, China) 


Abstract: Pedestrian may vary greatly in appearance due to differences in illumination, viewpoint, and pose across cameras, 


which can bring serious challenges in person re-identification. This paper proposed discriminative feature based late fusion using 


multiple-feature fusion and distance metric learning for person re-identification. Firstly, it expressed human appearance across 
cameras through local maximal occurrence (LOMO) and salient color names-based color descriptor (SCNCD) extracted from 
human sample images across cameras. Secondly, it obtained each optimized feature distance of each pair of pedestrians through 
individual cross-view quadratic discriminant analysis (XQDA) distance metric learning model trained based on LOMO feature 
and SCNCD feature, respectively. Finally, it obtained the final distance of each pair of pedestrians across cameras through a 
distance fusion using min-max normalization, which was applied for human match across cameras. Experimental results have 
shown that the proposed algorithm effectively improves the accuracy of person re-identification on two challenging datasets 
(VIPeR, PRID450s) . 
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给 行人 再 识别 的 研究 带 来 严峻 挑战 。 


0 言 
a “BO AT A FEAR Sal AT 98 EER EFAA.: 一 是 提 
行人 再 识别 技术 ， 是 指 让 计算 机 识别 不 同 摄像 机 下 的 行人 ” 取 有 具有 辨识 力 的 视觉 特征 ， 表 示 跨 摄像 机 行人 的 外 观 ， 二 是 寻 
是 否 是 相同 的 身份 , 通过 行人 的 外 观 进行 跨 摄像 机 行人 的 匹配 ，“ 找 判 别 的 距离 度量 学 习 算 法 ， 优 化 跨 摄像 机 行人 的 特征 距离 。 
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为 摄像 机 网 络 自动 行人 跟踪 ， 以 及 城市 自动 视频 监控 等 视频 大  ” 绝 大 多 数 行人 再 识别 方法 采用 多 特征 融合 的 方法 ， 改 善 跨 摄像 
数据 应 用 提供 关键 技术 支持 。 然 而 不 同 摄像 机 下 的 行人 会 因 光 ”机 行人 再 识别 的 准确 率 和 重 棒 性 上 1。Farenzena 等 人 外 提出 局 
照 、 视 角 、 姿 态 等 方面 的 差异 ， 导 臻 行人 的 外 观 变化 显著 ， 如 ”部 特征 的 对 称 驱动 累积 (SDALF) 算法 来 描述 跨 摄像 机 行人 的 
图 1 所 示 (上 、 下 两 行 分 别 为 行人 再 识别 基准 数据 集 VIPeR 中 ”外 观 。 SDALF 算法 编码 了 三 个 互补 的 行人 外 观 视 觉 特征 , 包括 
的 两 个 不 同 摄像 机 下 拍摄 的 行人 图 像 ， 同 一 列 为 相同 的 行人 )， ”通过 HSV 颜色 直方 图 表示 的 整个 彩色 内 容 、 通 过 最 大 稳定 的 
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录用 稿 刘 琦 ， 等 : 基于 辨识 特征 后 融 ALARA 
颜色 区 域 表 示 的 颜色 空间 排列 稳定 区 域 ， 以 及 通过 周期 性 的 高 ”的 准确 率 。 然 而 该 方法 在 使 用 非 线性 核 时 ， 其 计算 速度 很 慢 。 
度 结构 化 的 块 所 表示 的 具有 高 炉 的 局 部 图 形 ， 通 过 对 称 和 不 对 Liao 等 人 "提出 一 种 判别 度量 学 习 方 法 ， 即 跨 视图 二 次 判别 分 
称 的 特性 处 理 视角 的 变化 。Kviatkovsky 等 人 名 提出 使 用 颜色 不 析 QDA 应 用 于 行人 再 识别 。XQDA 旨 在 应 用 跨 摄 像 机 视 域 训 
变量 (ColorInv) 进行 行人 再 识别 。ColorImv 在 Log 颜色 空间 1 练 数据 ， 学 习 一 个 可 判别 的 低 维 子 空间 ， 与 此 同时 ， 在 这 个 低 
颜色 直方 图 、 协 方差 描述 子 、 基 于 部 分 的 形状 上 下 文 描述 子 共 ”” 维 子 空间 学 习 一 个 优化 的 距离 函数 ， 用 于 衡量 跨 摄 像 机 视 域 行 
同 来 描述 行人 外 观 。 基 于 部 分 的 形状 上 下 文 描述 子 ， 作 为 一 人 人 的 特征 相似 度 。 

不 变 的 形状 特征 描述 子 ， 使 用 人 体 目 标的 不 同 部 分 ， 用 于 描述 为 进一步 解决 跨 摄像 机 行人 外 观 的 显著 变化 问题 ， 以 提高 
可 辨识 的 颜色 分 布 的 内 在 结构 分 布 。Yang 等 人 处 提 出 基于 显著 。 行人 再 识别 的 准确 率 ， 本 文 在 上 述 多 特征 融合 和 距离 度量 学 习 
颜色 名 称 的 颜色 描述 子 SCNCD) 进行 行人 再 识别 。 将 在 四 个 ” 技术 的 基础 上 ， 进 一 步 提 出 辨识 特征 后 融合 的 算法 ， 即 每 个 辨 
不 同 的 颜色 空间 (原始 的 RGB、 归 一 化 的 RGB、111213 和 HSV) 识 特征 先 分 别 经 过 度量 学 习 ， 再 融合 各 自 的 特征 距离 ， 应 用 于 
计算 的 SCNCD 和 颜色 直方 图 进行 融合 ， 共 同 描述 跨 摄像 机 行 ”行人 再 识别 中 。 
人 的 外 观 。Liao 等 人 中 提出 局 部 最 大 出 现 频 次 “LOMO) 特征 
表示 进行 行人 再 识别 。LOMO 由 HSV 颜色 直方 图 和 尺度 不 变 j xaa i P 
局 部 三 元 模式 纹 描述 子 组 成 ， 分 析 了 人 体 局 部 的 颜色 和 纹理 特 距离 融合 | > d(1,,1,) 
征 在 同一 水 平 条 位 置 出 现 的 概率 ， 并 且 最 大 化 这 一 水 平 条 位 置 | | xona | | Mirme | ,| 
出 现 的 概率 ， 以 获得 鲁 棒 的 特性 表示 ， 有 效 地 处 理 了 跨 摄像 机 
行人 视角 的 变化 。 四 2 ”算法 流程 
本 文 提出 的 行人 再 识别 算法 如 图 2 所 示 。 首 先 ， 从 来 自 不 
同 摄像 机 下 的 行人 图 像 中 分 别提 取 两 个 特征 ， 即 局 部 最 大 出 现 
频次 (LOMO) 和 基于 显著 颜色 名 称 的 颜色 描述 子 (SCNCD); 
然后 , 应 用 这 两 个 特征 分 别 训练 跨 视 图 二 次 判别 分 析 (XQDA) 
距离 度量 学 习 模 型 ， 以 获取 跨 摄像 机 行人 每 个 特征 优化 的 距 高 
度量 ， 最 后 ， 为 了 平衡 每 个 特征 优化 的 距离 度量 的 贡献 ， 应 用 
最 小 最 大 Cmin-max ) 标准 化 算法 将 每 个 特征 优化 的 距离 度量 进 
图 1 VIPeR 数据 集 的 行人 图 像 行 标准 化 ， 再 应 用 距离 融合 的 方法 ， 获 取 跨 摄像 机 行人 最 终 的 
基于 上 述 的 特征 表示 方法 ， 采 用 标准 的 距离 度量 如 欧 氏 距 距离 度量 ， 用 于 跨 摄像 机 行人 的 匹配 ， 从 而 进行 行人 再 识别 。 
离 ， 进 行 跨 摄像 机 视 域 行人 匹配 时 ， 将 会 严重 影响 行人 再 识别 1 ”特征 提取 
的 准确 率 。 为 了 减轻 跨 摄像 机 行人 匹配 时 外 观 特征 的 差异 ， 提 
高 行人 再 识别 的 准确 率 ， 近 些 年 来 距离 度量 学 习 ” “方法 广泛 为 了 有 效 地 处 理 跨 摄像 机 行人 外 观 的 显著 变化 问题 ， 本 文 
应 用 于 行人 再 识别 技术 中 。 受 基于 似 然 比 检验 统计 推断 的 启发 ， ”选取 对 光照 和 视角 具有 和 鲁 棒 性 的 视觉 特征 : LOMO 和 SCNCD， 
Koestinger 等 人 "提出 基于 特定 标签 等 值 约束 的 距离 度量 方法 ， ”共同 来 表示 跨 摄 像 机 行人 的 外 观 。 
BU KISSME (保持 简 单 直接 的 度量 ) 进行 行人 再 识别 ， 该 种 度量 
学 习 方法 简单 、 高 效 ， 只 需要 计算 两 个 小 尺寸 的 不 相似 对 和 机 


似 对 的 协 方差 矩阵 ， 


等 人 "将 无 监督 的 主 成 分 分 析 (PCA) 降 维 与 监督 的 局 
辨识 分 析 (LFDA〉 相 结合 ， 提 出 低 
行 行 人 再 识别 。LFDA 在 最 大 化 类 间 分 离 的 同时 


结构 ， 实 现 了 样 


易于 扩展 至 


| 大 规模 的 数据 集中 。Pedagadi 


佳 流 形 距 离 度量 学 习 框 架 进 


BB RB AR 


LFDA 变换 。 然 而 ， 当 这 个 距离 度 


数据 集 时 ， 可 能 产 
响 行 人 再 识别 的 准 


保存 了 局 部 邻 域 

本 数据 的 多 模 态 分 布 ， 并 通过 广义 特征 值 估 计 
度量 学 习 框架 应 用 于 相对 较 小 的 

生 最 具 辨 识 力 特征 的 不 良 压缩 结果 ， 从 而 影 
确 率 。 为 了 解决 这 个 问题 ， 通 过 充分 利用 核 


技巧 和 LFDA 的 优点 ，Xiong 等 人 "进一步 采用 核 LFDA (KLFDA) 


距离 度量 学 习 进行 行人 青 
习 方法 ， 在 最 大 化 费 舍 尔 优化 准 


识别 。 


KLFDA 是 一 种 封 


My 
学 


于 的 非 线 性 


维特 征 向 量 。 


该 方法 


在 进行 数据 降 


力 的 特征 ， 


能 够 充分 利 / 


选择 


则 的 同时 ， 使 ) 
ERER, RE TRAIR 
核 的 灵活 性 来 改善 行人 再 识别 


j 核 技巧 处 理 


m] 


AH® AB ® 
ae 
原始 图 像 直方 图 
图 3 LOMO 特征 提取 图 解 外 
LOMO 特征 提取 图 解 如 图 3 tas. KH 10*10 的 滑动 子 
窗口 表示 一 幅 行 人 图 像 的 局 部 区 域 ， 在 每 个 子 窗口 提取 8*8*8- 
bin 联合 HSV 颜色 直方 图 和 2 个 尺度 的 SILTP 纹理 直方 图 ， 然 
后 最 大 化 同一 水 平 位 置 的 所 有 子 窗口 每 种 模式 〈 同 一 个 直方 图 
bin ) 的 局 部 发 生 率 , 有 效 地 处 理 了 视角 变化 对 行人 外 观 的 影响 。 
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刘 Fi, F: 基于 办 识 特 征 后 融合 的 行人 再 识别 


此 外 ， 采 用 3 个 尺度 的 金字 塔 表示 ， 通 过 2*2 局 部 池 化 ， 下 采 


度量 范围 不 同 ， 为 了 平衡 每 个 特征 优化 的 距离 度量 的 贡献 ， 本 


样 原始 行人 图 像 。 
水 平 位 置 所 有 计算 的 局 部 最 大 的 特征 向 量 级 联 在 
幅 行 人 图 像 最 终 的 LOMO 特征 。 
考虑 颜色 特征 对 跨 摄 像 机 光照 变化 更 具 辨 识 力 ， 在 上 述 
LOMO 特征 提取 的 基础 上 , 为 了 进一步 增强 光照 变化 对 跨 摄像 
机 行人 外 观 的 影响 ， 本 文 在 同一 幅 行 人 图 像 中 进一步 提取 
SCNCD 特征 。 SCNCD 特征 提取 图 解 如 图 4 所 示 四 。 共有 M 个 
索引 来 描述 颜色 信息 ,颜色 名 称 上 的 数字 代表 接近 某 种 颜色 (这 
里 指 红色 ) 的 颜色 名 称 集合 中 的 概率 分 布 ， 只 有 几 个 最 接近 的 
颜色 名 称 (显著 颜色 名 称 ) 上 有 非 零 的 概率 值 。 一 幅 行 人 图 像 的 
SCNCD 特征 就 是 通过 显著 颜色 名 称 的 概率 分 布 来 进行 表征 。 


上 述 特征 提取 步骤 重复 进行 。 最 后 ， 将 每 个 
起 ， 形 成 一 


颜色 名 称 


图 4 SCNCD 特征 提取 图 解 外 


2 XQDA 距离 度量 学 习 


为 了 减轻 跨 摄像 机 行人 外 观 的 显著 变化 ， 本 文选 取 快 速 而 
有 效 的 XQDA 距离 度量 学 习 方法 , 获取 跨 摄像 机 行人 优化 的 距 
离 度量 。 

XQDA 应 用 跨 摄 像 机 行人 样本 数据 学 习 一 个 低 维 的 特征 
子 空间 。 同 时 ， 在 这 个 低 维特 征 子 空间 里 学 习 一 个 优化 的 距离 
函数 ， 用 于 衡量 跨 摄像 机 行人 的 相似 度 外 。 跨 摄像 机 一 对 行人 
样本 数据 c, y) 在 低 维 特征 子 空间 w 的 距离 函数 wy (x,y) 如 式 (1) 


dy (2,9) = WE -S WT- y), (D 
D1=WT SW (2) 
FE=WT Sew 


其 中 : y, M S, 分 别 表示 相同 行人 间 的 协 方差 矩阵 和 不 同行 人 
间 的 协 方差 矩阵 。 
基于 LOMO 和 SCNCD 特征 ， 根 据 跨 摄 像 机 行人 的 训练 样本 


数据 集 {xY}，x - [om ， 了 = 人 om (假设 每 个 摄像 机 有 w 个 


行人 训练 样本 数据 )，m= Zowo,scvcD ， 可 分 别 学 习 每 个 特征 的 


PA FE RE M „W =W (5, -Xp OWI o 采用 式 (1) 定义 的 距离 函 


数 可 进一步 获取 每 个 特征 优化 的 距离 度量 ww， Epp) 。 


m 


3 KF Min-max 标准 化 距离 融合 


考虑 


LOMO 和 SCNCD 特征 获取 的 每 个 特征 优化 的 距离 


文 首先 采用 最 小 最 大 (Min-max〉 标 i 
的 距离 度量 先进 行 标准 化 到 0~1 后 ， 
为 跨 摄像 机 行人 最 终 的 距离 度量 。 

假设 基于 LOMO 和 SCNCD 


全 化 算法 ,将 每 个 特征 优化 
再 进行 距离 求 和 运算 , 作 


特征 优化 的 距离 度量 


dy Œm Im) > m=LOMO,SCNCD， 经 过 最 小 最 大 (Min-max) 标准 


化 后 的 距离 度量 用 


~~ 


+ = + 
dw, Emm) 来 表示 。 dw, 


. (Xm) 的 计算 如 


式 (3) 所 示 。 注 意 ， 沿 着 测试 集中 查询 样本 的 维度 来 执行 最 小 最 
大 标准 化 。 例 如 ， 当 一 个 测试 样本 和 100 个 查询 样本 时 ， 则 通 
过 100 个 距离 值 来 执行 最 小 最 大 标准 化 算法 。 

$ AW (XmYm)—mMindy, (XmoY) 

ty, Emm) = k - (3) 


max ay, (Xm Y)-mindy (Xm .¥) 


其 中 :m= LOMO,SCNCD + dy (x, Y) 表示 一 个 距离 向 量 ，| 
m 


一 个 测试 样本 和 所 有 查询 样本 的 距离 组 成 ; mindy, CY) 和 


max dyy (yy ¥) 分 别 表示 dy Cowz) 中 元 素 的 最 小 值 和 最 大 值 。 


明显 ， dy, Em Vm) 是 Ay, Cmm 的 线性 变换 , 其 值 被 映射 到 0- 
1 之 间 。 
跨 摄 像 机 行人 最 终 的 距离 度量 aa 1) 由 上 述 最 小 最 大 


(Min-max) 标准 化 后 的 每 个 特征 的 距离 度量 心 


来 计算 ， 如 式 (4) 所 示 。 


aU p14) = Con 4) 


4 ”实验 结果 


KH Windows 7 64 位 操作 系统 Inteli7 处 理 器 的 联想 电脑 ， 
应 用 MATLAB2017a 软件 ， 在 具有 挑战 性 的 2 个 公开 数据 集 : 
VIPeRH0D、PRID450S03 进 行 实验 测试 ， 估 计 本 文 所 提出 的 行人 
再 识别 算法 的 累计 匹配 特性 (CMC)。VIPeR 和 PRID450S 两 个 
数据 集 的 简要 介绍 如 表 1 所 示 。 本 文 随 机 选取 行人 数 的 一 半 作 
为 训练 样本 集 ， 另 一 半 作 为 测试 样本 集 。 训 练 集 用 于 学 习 不 同 
特征 的 核 矩 阵 mw,,) 。 而 测试 集 用 于 衡量 跨 摄像 机 一 对 行人 
样本 的 相似 度 。 为 了 使 实验 结果 稳定 、 可 靠 ， 当 计算 CMC h 
时 ， 每 个 实验 重复 10 次 取 平 均 识 别 率 。 

表 1 VIPeR 和 PRID450S 数据 集 简要 介绍 . 


aur 


数据 集 VIPeR PRID450S 
图 像 数 1264 900 
行人 数 632 450 


cel 


CTD AAT 
录用 稿 x) 琦 ， 等 : 基于 辨识 识 


训练 集中 图 像 数 316 225 别 给 出 了 相应 的 CMC 性 能 比较 结果 。 由 表 2. 3 可 知 ， 本 文 提 
摄像 机 视图 数 2 2 出 的 方法 (图 2) 在 VIPeR 和 PRID450S 两 个 数据 集 下 ， 明 显 
每 个 视角 每 个 行人 的 图 像 数 1 1 高 于 所 比较 的 近 几 年 提出 的 先进 的 行人 再 识别 算法 ， 可 见 辨识 
在 实验 中 ， 将 从 特征 敏感 度 分 析 和 与 其 他 先进 的 算法 比较 ”” 特征 的 后 融合 算法 有 助 于 提高 行人 再 识别 的 性 能 。 
两 方面 展示 实验 结果 : 表 2 VIPeR 数据 集 近 几 年 公开 发 表 的 行人 再 识别 算法 的 识别 率 ( 只 列 
4.1 特征 敏感 度 分 析 出 了 排序 为 1.5、10、20 的 累积 匹配 分 数 ) /% 
采用 相同 的 XQDA 距离 度量 学 习 方 法 .为 了 分 析 LOMO, VIPeR 排序 1 5 10 20 
SCNCD 特征 贡献 敏感 度 ， 本 文 以 LOMO、SCNCD 以 及 本 文 所 Our approach 48.4 77.1 87.0 94.4 
提出 的 方法 (图 2) 分 别 在 VIPeR 和 PRID450S 两 个 数据 集 下 MR'I 43.0 75.2 87.3 94.8 
进行 实验 测试 。 图 5(aj(b) 分 别 给 出 了 LOMO, SCNCD, 以 及 本 LSSCDL 0 42.7 - 84.3 91.9 
文 提出 的 方法 分 别 在 VIPeR 和 PRID450S 两 个 数据 集 下 的 CMC TSR I 41.6 71.9 86.2 95.1 
性 能 比较 结果 。 MED VLU¢l 41.1 71.7 83.2 91.7 
ma CMConVIPeR o DRML"7! 41.1 = 79.1 91.3 
LOMO"! 40.0 z 80.5 91.1 
ECM 0 38.9 67.8 78.4 88.9 
图 SCNCD"! 37.8 68.5 81.2 90.4 
i CMWCE""! 37.6 68.1 = 90.2 
CSL PH 34.8 68.7 82.3 91.8 
KPLS 221 33.1 67.7 81.0 90.8 
a Sanaa 表 3 PRIDASOS 数据 集 近 几 年 公开 发 表 的 行人 再 识别 算法 的 识别 率 
ee (只 列 出 了 排序 为 1.5.10、20 的 累积 匹配 分 数 ) ”/% 
12346 67 8 9 1011 12 13 14 15 16 17 18 19 20 
Rank PRID450s 排序 1 5 10 20 
(a) VIPeR Our approach 73.7 93.4 96.9 98.6 
m _CMC on PRID450S _ LSSCDL""! 60.5 = 88.6 93.6 
DRML"7I 56.4 = 82.2 90.2 
MR 03 55.4 79.3 87.8 93.9 
€ KPLS 23 528 821 90.0 95.4 
: MED VLI“ 459 73.0 829 911 
F TSR0al 449 717 715 86.7 
Ž a ] CSLPD 444 716 822 89.8 
j | ra ow ape ECM"! 419 663 76.9 84.9 
oe tit ttt || || | pach SCNOD SCNCD "I 41.6 689 794 87.8 
+234 5 67 8 8 1011 12 19 14 15 16 17 18 19 20 
Rank CMWCE pal 40.6 = 80.7 90.0 
(b) PRID450S 
5 ”结束 语 


图 5 不 同 特征 在 VIPeR、PRID450S 数据 集 的 CMC 性 能 比较 


图 5 可 见 ， 本 文 提出 的 方法 最 具 辨 识 力 ， 在 VIPeR、 本 文 基于 LOMO、SCNCD 特征 和 XQDA 距离 度量 学 习 
PRID450S 两 个 数据 集中 排序 为 1 时 的 识别 率 分 别 为 48.4%、 基础 上 ,提出 辨识 特征 的 后 融合 方法 , 并 应 用 于 行人 再 识别 中 。 
73.7%。LOMO 特征 比 SCNCD 特征 更 具 辨 识 力 ，LOMO 特征 。 在 具有 挑战 的 VIPeR 和 PRID450S 两 个 行人 再 识别 基准 数据 
在 VIPeR、PRID450S 两 个 数据 集中 排序 为 1 时 的 识别 率 分 别 ” 上 进行 实验 ， 实 验 结果 展示 了 本 文 提 出 的 行人 再 识别 算法 的 先 
为 40.8%、65.0%， 而 SCNCD 特征 在 VIPeR、PRID450S 两 个 ” 进 性 和 有 效 性 。 
数据 集中 排序 为 1 时 的 识别 率 分 别 为 27.3%、38.4%。 显然， 本 
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